尽管可解释的AI的大量研究重点是产生有效的解释，但较少的工作致力于人们如何理解和解释解释的问题。在这项工作中，我们通过研究基于显着性数据的解释来关注这个问题。文本模型的特征属性解释旨在传达输入文本的哪些部分比其他部分更具影响力。许多当前的解释方法，例如基于梯度或基于沙普利价值的方法，都提供了重要的衡量标准，这些方法在数学上是众所周知的。但是，一个人接受解释（解释）如何理解它？他们的理解是否与解释试图交流的内容相匹配？我们从经验上研究了输入的各种因素，特征 - 贡献解释和可视化程序对Laypeople对解释的解释的影响。我们询问人群工人对英语和德语的任务进行解释，并根据感兴趣的因素适合他们的回答。我们发现人们经常误解解释：尽管有直接传达重要性的解释，但肤浅和无关的因素（例如单词长度）影响了解释者的重要性分配。然后，我们证明其中一些失真可以减弱：我们提出了一种基于过度感受和低估的模型估计的方法来调整销售的方法，并探索条形图作为热图显着性可视化的替代方法。我们发现两种方法都可以减轻特定因素的扭曲作用，从而使对解释的理解更好地理解。

自然语言处理领域（NLP）最近看到使用预先接受训练的语言模型来解决几乎任何任务的大量变化。尽管对各种任务的基准数据集显示了很大的改进，但这些模型通常在非标准域中对临床领域的临床域进行次优，其中观察到预训练文件和目标文件之间的巨大差距。在本文中，我们的目标是通过对语言模型的域特定培训结束这种差距，我们调查其对多种下游任务和设置的影响。我们介绍了预先训练的Clin-X（临床XLM-R）语言模型，并展示了Clin-X如何通过两种语言的十个临床概念提取任务的大幅度优于其他预先训练的变压器模型。此外，我们展示了如何通过基于随机分裂和交叉句子上下文的集合来利用我们所提出的任务和语言 - 无人机模型架构进一步改善变压器模型。我们在低资源和转移设置中的研究显​​示，尽管只有250个标记的句子，但在只有250个标记的句子时，缺乏带注释数据的稳定模型表现。我们的结果突出了专业语言模型作为非标准域中的概念提取的Clin-X的重要性，但也表明我们的任务 - 无人机模型架构跨越测试任务和语言是强大的，以便域名或任务特定的适应不需要。 Clin-Xlanguage模型和用于微调和传输模型的源代码在https://github.com/boschresearch/clin\_x/和Huggingface模型集线器上公开使用。

Transformer variants dominate the state-of-the-art in different natural language processing tasks such as translation, reading comprehension and summarization. Our paper is more directed to use general memory slots added to the inputs and studying the results of adding these slots. This paper is a go on study of general memory slots rule that were added to the input of the proposed model in previous work. We have two main tasks;1) pretraining task using masked language modeling and b) fine tuning task using HotpotQA . This study aims to verify the ability of the proposed model to handle chunks as if they were one chunk comparing with the base model. As baseline we used T5 transformer. We studied the rule of memory slots augmented to each input chunk and studied the model performance without selector. We found that adding memory to input chunks helped the proposed model to overcome the baseline on Masked language modeling task with specific training parameters. Ablation study reveals the ability of using the compressed input chunks with a degradation in performance.

Modern deep neural networks tend to be evaluated on static test sets. One shortcoming of this is the fact that these deep neural networks cannot be easily evaluated for robustness issues with respect to specific scene variations. For example, it is hard to study the robustness of these networks to variations of object scale, object pose, scene lighting and 3D occlusions. The main reason is that collecting real datasets with fine-grained naturalistic variations of sufficient scale can be extremely time-consuming and expensive. In this work, we present Counterfactual Simulation Testing, a counterfactual framework that allows us to study the robustness of neural networks with respect to some of these naturalistic variations by building realistic synthetic scenes that allow us to ask counterfactual questions to the models, ultimately providing answers to questions such as "Would your classification still be correct if the object were viewed from the top?" or "Would your classification still be correct if the object were partially occluded by another object?". Our method allows for a fair comparison of the robustness of recently released, state-of-the-art Convolutional Neural Networks and Vision Transformers, with respect to these naturalistic variations. We find evidence that ConvNext is more robust to pose and scale variations than Swin, that ConvNext generalizes better to our simulated domain and that Swin handles partial occlusion better than ConvNext. We also find that robustness for all networks improves with network scale and with data scale and variety. We release the Naturalistic Variation Object Dataset (NVD), a large simulated dataset of 272k images of everyday objects with naturalistic variations such as object pose, scale, viewpoint, lighting and occlusions. Project page: https://counterfactualsimulation.github.io

Continual Learning is a step towards lifelong intelligence where models continuously learn from recently collected data without forgetting previous knowledge. Existing continual learning approaches mostly focus on image classification in the class-incremental setup with clear task boundaries and unlimited computational budget. This work explores Online Domain-Incremental Continual Segmentation~(ODICS), a real-world problem that arises in many applications, \eg, autonomous driving. In ODICS, the model is continually presented with batches of densely labeled images from different domains; computation is limited and no information about the task boundaries is available. In autonomous driving, this may correspond to the realistic scenario of training a segmentation model over time on a sequence of cities. We analyze several existing continual learning methods and show that they do not perform well in this setting despite working well in class-incremental segmentation. We propose SimCS, a parameter-free method complementary to existing ones that leverages simulated data as a continual learning regularizer. Extensive experiments show consistent improvements over different types of continual learning methods that use regularizers and even replay.

在大型数据集上，对视力任务的深度学习模型进行了培训，因为存在一个通用表示，可用于对所有样本进行预测。尽管事实证明，高复杂性模型能够学习此类表示，但对数据的特定子集进行了培训的专家，可以更有效地推断出标签。然而，使用专家的混合物会提出两个新问题，即（i）在提出新的看不见的样本时分配正确的专家。 （ii）找到培训数据的最佳分区，以使专家最依赖于共同特征。在动态路由（DR）中，提出了一个新颖的体系结构，其中每层由一组专家组成，但是在没有解决这两个挑战的情况下，我们证明该模型可以恢复使用相同的专家子集。在我们的方法中，对多元化的动态路由（DIVDR）进行了明确培训，以解决找到数据相关分区并以无监督的方法分配正确的专家的挑战。我们对MS-Coco的城市景观和对象检测以及实例分割进行了几项实验，显示了几个基线的性能的改善。

在科学计算的许多领域越来越流行的人工神经网络（ANN）的大量使用迅速增加了现代高性能计算系统的能源消耗。新型的神经形态范式提供了一种吸引人的替代方案，它直接在硬件中实施了ANN。但是，对于科学计算中用例使用ANN在神经形态硬件上运行ANN的实际好处知之甚少。在这里，我们提出了一种方法，用于测量使用常规硬件的ANN来计算推理任务的时间。此外，我们为这些任务设计了一个体系结构，并根据最先进的模拟内存计算（AIMC）平台估算了相同的指标，这是神经形态计算中的关键范例之一。在二维凝结物质系统中的量子多体物理学中的用例比较两种方法，并在粒子物理学中大型强子对撞机上以40 MHz的速率以40 MHz的速率进行异常检测。我们发现，与传统硬件相比，AIMC最多可以达到一个较短的计算时间，最高三个数量级的能源成本。这表明使用神经形态硬件进行更快，更可持续的科学计算的潜力。

我们提出了一个新的灵敏度分析模型，该模型结合了Copulas和在未观察到的混杂状态下的因果推断的标准化。我们将新模型称为$ \ rho $ -gnf（$ \ rho $ - graphical正常化流），其中$ \ rho {\ in} [ - 1，+1] $是一个有界灵敏度参数，表示后门非 - 由于未观察到的混杂而引起的因果关系，使用研究最丰富且广泛流行的高斯副群建模。具体而言，$ \ rho $ -gnf使我们能够估计和分析前门因果效应或平均因果效应（ACE）作为$ \ rho $的函数。我们将其称为$ \ rho_ {curve} $。 $ \ rho_ {curve} $使我们能够指定无王牌所需的混杂力量。我们将其称为$ \ rho_ {value} $。此外，$ \ rho_ {curve} $还使我们能够为$ \ rho $ values的间隔提供ACE的界限。我们说明了$ \ rho $ -gnf的好处，并通过对我们的经验王牌界限的实验比其他流行的王牌范围更狭窄。

作物疾病显着影响农业生产的数量和质量。在精确农业的目标是最大程度地减少甚至避免使用农药的目的，具有深度学习的天气和遥感数据可以在检测作物疾病中发挥关键作用，从而允许对农作物的局部治疗。但是，将天气和图像等异质数据结合在一起仍然是一个热门话题和具有挑战性的任务。变压器体系结构的最新发展显示了从不同领域（例如文本图像）融合数据的可能性。当前的趋势是仅定制一个变压器来创建多模式融合模型。相反，我们提出了一种使用三个变压器实现数据融合的新方法。在本文中，我们首先通过使用ConvlstM模型来插值来解决缺失的卫星图像问题。然后，提出了一种多模式融合体系结构，该体系结构共同学习处理视觉和天气信息。该体系结构是由三个主要组件，一个视觉变压器和两个变压器编码器构建的，可以融合图像和天气方式。所提出的方法的结果有望达到97 \％的总体准确性。

分类器的性能通常是根据测试数据的平均准确性来衡量的。尽管是标准措施，但平均准确性未能表征模型对标签的基本条件定律的拟合度，鉴于特征向量（$ y | x $），例如由于模型错误指定，拟合和高维度。在本文中，我们考虑了评估通用二元分类器的拟合优点的基本问题。我们的框架对条件定律$ y | x $没有任何参数假设，并且将其视为黑匣子甲骨文模型，只能通过查询访问。我们将拟合优度评估问题提出作为表格\ [h_0：\ mathbb {e} \ big [d_f \ big（{\ sf bern}（\ esta（x））\ | {\ | {\ | {\ | { sf bern}（\ hat {\ eta}（x））\ big）\ big] \ leq \ tau \ ,, \]，其中$ d_f $代表$ f $ -DDIVERGENCE函数，$ \ eta（x）$ ，$ \ hat {\ eta}（x）$分别表示功能向量$ x $的真实和估计可能性。我们提出了一个新颖的测试，称为\ grasp用于测试$ H_0 $，无论功能如何（无分配）在有限的样品设置中起作用。我们还提出了为模型-X设置设计的Model-X \ Grasp，其中已知特征向量的联合分布。 Model-X \ Grasp使用此分配信息来实现更好的功率。我们通过广泛的数值实验评估测试的性能。